Video dubbing aims to translate the original speech in a film or television program into the speech in a target language, which can be achieved with a cascaded system consisting of speech recognition, machine translation and speech synthesis. To ensure the translated speech to be well aligned with the corresponding video, the length/duration of the translated speech should be as close as possible to that of the original speech, which requires strict length control. Previous works usually control the number of words or characters generated by the machine translation model to be similar to the source sentence, without considering the isochronicity of speech as the speech duration of words/characters in different languages varies. In this paper, we propose a machine translation system tailored for the task of video dubbing, which directly considers the speech duration of each token in translation, to match the length of source and target speech. Specifically, we control the speech length of generated sentence by guiding the prediction of each word with the duration information, including the speech duration of itself as well as how much duration is left for the remaining words. We design experiments on four language directions (German -> English, Spanish -> English, Chinese <-> English), and the results show that the proposed method achieves better length control ability on the generated speech than baseline methods. To make up the lack of real-world datasets, we also construct a real-world test set collected from films to provide comprehensive evaluations on the video dubbing task.
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
分散的多代理导航的代理缺乏世界知识,无法可靠地制定安全和(接近)最佳计划。他们将决定基于邻居的可观察状态,这隐藏了邻居的导航意图。我们提出了通过机构间沟通的增强分散导航,以提高其绩效和援助代理,以做出合理的导航决策。在这方面,我们提出了一种新颖的增强学习方法,用于使用选择性间隔沟通来避免多代理碰撞。我们的网络学会决定“何时”并与“谁”交流,以端到端的方式索取其他信息。我们将沟通选择作为链接预测问题,在该问题中,如果可以观察到的信息,网络可以预测是否需要通信。传达的信息增加了观察到的邻居信息以选择合适的导航计划。随着机器人的邻居数量的变化,我们使用多头自发项机制来编码邻居信息并创建固定长度的观察向量。我们验证我们提出的方法在挑战模拟基准中实现了多个机器人之间的安全有效导航。通过学习的通信,我们的网络的性能比在各种指标(例如到目标和碰撞频率)中的现有分散方法的表现要好得多。此外,我们展示了网络有效地学会在高复杂性情况下进行必要时进行交流。
translated by 谷歌翻译
健壮的学习是科学机器学习(SCIML)的重要问题。文献中有几篇关于该主题的作品。但是,对方法的需求不断增加,可以同时考虑SCIML模型识别中涉及的所有不同不确定性组成部分。因此,这项工作提出了一种对SCIML的不确定性评估的综合方法,该方法还考虑了识别过程中涉及的几种不确定性来源。提出的方法中考虑的不确定性是缺乏理论和因果模型,对数据腐败或不完美的敏感性以及计算工作。因此,可以为SCIML领域中的不确定性感知模型提供总体策略。该方法通过案例研究验证,开发了用于聚合反应器的软传感器。结果表明,已识别的软传感器对于不确定性是可靠的,并以所提出的方法的一致性证实。
translated by 谷歌翻译
在这项工作中,我们提出了一个端到端的图形网络,其使用可解释的电感偏差来学习粒子基物理学的前进和逆模型。物理知识的神经网络通常通过特定于问题的正则化和损失功能来解决特定问题。这种显式学习偏置网络以学习数据特定模式,并且可能需要在特此限制其Generalizabiliy的丢失功能或神经网络架构的变化。虽然最近的研究已经提出了图形网络来研究前瞻性动态,但它们依赖于粒子特定参数,例如质量等。我们的图形网络通过学习来隐含地偏见,以解决多项任务,从而在任务之间共享表示,以便学习前向动态以及推断未知粒子特定属性的概率分布。我们在一步的下一个状态预测任务上评估了我们的方法,这些任务跨越具有不同粒子交互的不同数据集。我们对相关数据驱动物理学学习方法的比较揭示了我们的模型能够预测至少一种更高的准确度的前向动态。我们还表明,我们的方法能够使用较少的样本的数量令恢复未知物理参数的多模态概率分布。
translated by 谷歌翻译